英伟达新一代 AI GPU面临芯片过热问题
根据知情人士的爆料，Blackwell AI GPU装入可容纳多达72颗芯片的服务器机架时会出现过热的问题，这些机器预计每个机架的功耗高达120kW。而过热会限制GPU性能并有损坏组件的风险。CIBesmc
目前，包括英伟达员工、客户和供应商在内的多方面消息称，英伟达已多次要求供应商调整机架设计，但这种过热的问题依然存在。CIBesmc
外媒的报道称，一些英伟达客户担心没有足够的时间推进新数据中心的建设运行，包括元宇宙、谷歌和微软等在内的科技巨头均受到影响。CIBesmc
对此，有多家媒体致电英伟达。英伟达方面对媒体回应表示：“我们正在与领先的云服务提供商合作，将其作为我们工程团队和流程中不可或缺的一部分。工程迭代是正常且符合预期的。将GB200这一迄今为止最先进的系统集成到各种数据中心环境中，需要与我们的客户共同设计。”CIBesmc
据悉，Blackwell用作培训大语言AI模型，其速度比英伟达上一代芯片H100的速度快2.5倍。该芯片此前预计发货时间为今年第二季度。CIBesmc
英伟达Blackwell在今年3月推出
据悉，Blackwell是英伟达在2024年3月推出的新一代AI芯片与超级计算平台。Blackwell的强悍性能一直为大家津津乐道，它由多个英伟达芯片组成，包括Blackwell GPU、Grace CPU、BlueField数据处理单元、ConnectX网络接口卡、NVLink交换机、Spectrum以太网交换机和Quantum InfiniBand交换机，涵盖了从CPU和GPU计算到用于互连的不同类型的网络，可支持多达10万亿参数的模型进行AI训练和实时大语言模型(LLM)推理。CIBesmc
Blackwell的具体性能还包括以下：CIBesmc
- NVIDIA的Blackwell架构GPU搭载了2080亿个晶体管，采用专属定制的台积电4NP工艺精心打造。该设计突破传统，实现了裸片尺寸翻倍，并通过10 TB/s的高速片间互联技术，将多个GPU裸片整合为单一的高效能单元。
- 在Blackwell架构中，升级版的第二代Transformer引擎融合了创新的微张量缩放技术，并结合NVIDIA先进的动态范围管理算法，使得在4位浮点AI推理方面，算力和模型尺寸均实现了显著提升。
- 第五代NVLink技术进一步优化了处理万亿级参数模型和混合专家AI模型的能力，每块GPU的双向吞吐量高达1.8TB/s，确保了多达576块GPU之间的高效、无间断通信，完美应对当今最为复杂的LLM挑战。
- 此外，Blackwell架构的GPU内置了RAS引擎，专注于提升系统的可靠性、可用性和可维护性。Blackwell还增添了多项先进的芯片级功能，通过AI驱动的预防性维护策略，进行故障诊断和可靠性问题的预测，从而确保了系统的稳定运行。
责编：Clover.li
扫码分享到好友
